Stop Guessing When to Stop Testing: Efficient Model Evaluation with Just Enough Data
不再猜测何时停止测试：用恰到好处的数据高效评估模型
🧭 自适应评估 · 顺序测试
IBM Research
提出自适应顺序测试框架，用 CI 宽度和递减收益动态停止评估，节省最高 80% 计算成本并保持统计显著性
📌 工作参考价值（4 点）
- LLM-as-Judge 评估成本削减：在使用 LLM 评估推荐结果或 Agent 生成质量时，设置目标 CI 宽度或最小可检测效应量，动态决定何时停止评估，可大幅减少推理计算开销。
- A/B 测试早期停止：在线对照实验中，当所需置信度已达成或效应量已无法进一步显著时提前终止，加速迭代，原理与框架中的递减收益检测一致。
- 模型选择与排行榜构建：在多个候选召回/排序模型对比时，用顺序测试自适应分配流量，避免固定测试集浪费，尤其适合需频繁重新评估的场景。
- 工程实现注意：需预设停止准则（如 CI 半宽 < 2.5 个百分点或效应量低于阈值），并确保重采样/数据顺序随机，防止偏差；可集成到现有评估管线中。